LeanGuard：面向工具调用智能体的 Lean 验证护栏
🧭 LLM Agent 形式化护栏与自动修复 ★ 深度解读
Case Western Reserve University · UT Austin
在 LLM 智能体与工具之间嵌入 Lean 4 策略运行时，以形式化证明保证每次工具调用合规，并支持反馈或证明引导修复
📌 工作参考价值（4 点）
- 在电商导购/售后 Agent 的写操作（改订单、退款、发券）上，可借鉴“外部策略运行时 + 可信证据”架构：把业务规则写成 permits/requirements/forbids，所有工具调用先做 fail-closed 校验；关键点是不信 LLM 输出的文本，只信后端快照和监控日志，用户确认绑定到具体提案和状态版本，防止注入礼品卡/收款账户等越权操作。
- 将拒绝从“调用未执行”改为“失败规则 + 修复提示”，可减少重复试错并提高恢复率；论文中反馈使阻塞调用从 983 降到 719，恢复动作从 34 增至 48。售后场景可返回具体缺失条件（如需先读订单、需用户确认）而非笼统拒绝。
- 证明引导修复对参数值类违规很实用：当金额超预算、支付方式不合规、选错券时，可在规则引擎中预计算最近合规参数并随拒绝返回，或直接替换；论文在 252 个参数值拒绝中证明修复 88 个，中位 2ms，表明部分修复不必让模型重试。
- 若业务涉及支付、退款、隐私等强保障环节，可考虑用可验证语言编写核心策略，并检查证明无 sorry/非标准公理；但维护成本高，适合核心高风险写操作而非全量策略。
SecPO：面向提示注入安全的原理性对抗训练
🧭 LLM 安全 · 对抗训练防御 Prompt Injection
UC Berkeley · Anthropic · Google DeepMind
提出 SecPO 损失与对抗训练管线，将 Qwen3.6-27B 在 AgentDojo 上的提示注入 ASR 从 78.8% 降至 8.8%，且无良性性能损失。
📌 工作参考价值（4 点）
- 在电商/客服 Agent 使用不可信外部数据（商品评论、工单、邮件）时，应将 prompt injection 视为高风险，采用防御性微调而非仅依赖系统提示词；SecPO 思路：构造注入不变且保持业务 utility 的偏好对，替代以原始不安全模型为参考的 DPO。
- 可搭建红队自动化对抗训练流水线：持续合成强注入样本（论文 best@240 水平的攻击），加入微调数据，比只用弱模拟攻击有效；对电商场景可针对商品描述注入、用户评论注入等生成专用对抗样本。
- 上线前评估应采用 AgentDojo 类自适应攻击和 ASR@N 指标，覆盖攻击者后手（AttackerMovesSecond）等更贴合真实 agent 工作流的位置，而不仅是单轮 prompt 测试。
- 安全微调可以与工具调用、指令遵循等能力保持兼容：通过多任务/多基准联合训练与监控，避免为了安全牺牲业务核心能力。
MAS-Guard：从单智能体到多智能体LLM系统的统一护栏
🧭 多智能体系统安全护栏 ★ 深度解读
Oracle AI
统一运行时护栏框架，结合本地A-Guard与系统级Charter/Control Plane，ASR降低71.5-86.3%同时保持效用
📌 工作参考价值（4 点）
- 分离护栏模型与执行业务的Agent模型：用独立的轻量模型（如Gemma-4-26B-A4B-IT）做安全检查，避免与业务Agent模型耦合，便于统一升级和审计；在电商推荐/广告Agent中可复用此模式，将安全/合规检查从生成链路剥离。
- 确定性检查优先，语义检查兜底：对路由、消息格式、能力范围等能用代码确定的规则（如禁止SQL agent直接调邮件服务）先用确定性检查拦截，语义分类器只处理模糊内容；这能大幅降低推理开销和误报，适合高并发线上系统。
- 统一的干预决策空间（ALLOW/REFLECT/CONFIRM/BLOCK）：所有local和system guardrail输出同一套决策动作，聚合规则固定为“最严格优先”，避免额外模型仲裁层；在电商多Agent流程中可直接借鉴，用于工具调用、跨Agent消息、用户输入等事件。
- 对无法instrument的第三方Agent做边界防护：即使某些Agent是黑盒，只要orchestration层可控，就能在其输入输出边界部署Charter合规检查；这适用于与外部供应商Agent、联盟广告API等交互的场景，保护数据不外泄。
AgentKernel：信任原生的智能体操作系统
🧭 Agent 安全操作系统设计
DeepKernel Lab · Tsinghua University
提出信任原生的智能体操作系统 AgentKernel，以身份、感知、认知、执行四支柱提供强制不可绕过的安全边界
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 中，将输入处理从单点过滤改为分层渐进式感知校验，避免恶意商品描述、用户评论等不可信内容直接进入决策链路。
- 对长期记忆（用户画像、历史会话、商品知识库）引入信息流控制与污点标签，防止低可信来源的内容污染记忆，从而降低错误推荐或越权操作风险。
- 工具调用权限应下沉到内核级强制边界，而非停留在应用层 middleware；在允许 LLM 调用改价、发券、修改广告出价等高权限工具时，可借鉴不可绕过的执行控制架构。
- 跨组织协作（平台、商家、广告主）的 Agent 身份由统一内核管理，可设计可信的委托与授权机制，减少权限滥用和越权访问。
有界智能体：多智能体 AI 系统的委托安全机制
🧭 多智能体委托授权安全
Independent Researcher
提出 Agentic Principal Chain，在模型外强制执行基于会话状态的授权检查，将 AgentDojo 数据外泄从 75-100% 降至 0%
📌 工作参考价值（4 点）
- 在电商/广告 Agent 工具执行前，增加独立于 LLM 的授权门控层：维护 session 状态，检查“当前工具调用 + 之前动作”的组合是否触碰禁止规则，而不只评估单次请求权限；APC 的 composition closure 可直接对应“禁止读取用户手机号后调用外部 webhook”这类组合风险。
- 对子 Agent 委托必须显式传递并收缩权限范围与预算：APC 证明的 Blast Radius Monotonicity 表明最小权限委托能控制爆炸半径，可复用于多 Agent 架构中订单、优惠券、用户数据等工具的下发权限。
- 工程上，0.24ms p99 授权延迟对推荐/广告 Agent 的实时链路可接受；将授权决策与模型推理解耦，使其不被 prompt injection 影响，适合作为在线风控旁路。
- 注意 trade-off：AgentDojo 效用下降 8.6-13.9 个百分点，业务落地上需按场景灰度，在安全与任务完成率之间配置可调的禁止组合规则。
收敛式绕路劫持：技能型 LLM Agent 中保持任务完成的资源放大攻击
🧭 LLM Agent 技能选择与规划安全
Shenzhen University · The Chinese University of Hong Kong · The Chinese University of Hong Kong, Shenzhen
提出 CDH 攻击，利用技能描述选择与指令体规划两阶段耦合，在任务完成率不变下放大 token 与执行时间消耗
📌 工作参考价值（4 点）
- 在 Agent 技能平台中，不要只依赖自然语言描述做相关性选择：可增加成本/资源元数据（如预估 token、最大耗时）并在选择阶段就进行成本约束，避免“描述相似但执行昂贵”的技能被选中。
- 监控 Agent 轨迹的 token 消耗和时间异常，尤其是任务完成但资源消耗显著高于基线的 run；可设置基于任务类型的分位数告警，检测 CDH 这类“完成但绕路”的放大攻击。
- 对第三方技能做隔离和资源限制：即使技能指令本身无恶意，也可能通过伪造依赖关系招募多余良性工具；可在规划后对工具链做依赖校验，剔除与目标无关的中间步骤。
- 借鉴攻击思路做成本压力测试：在评估自研 Agent 或推荐 Agent 时，故意注入“看似相关但增加绕路”的技能，检验系统是否有足够的成本鲁棒性和轨迹完整性保护。
智能体红队系统：自动提示注入攻击
🧭 Agent 红队测试与安全攻击
The Pennsylvania State University
提出PIMiner，通过多任务训练构建可迁移策略库，实现跨LLM的高效提示注入红队测试。
📌 工作参考价值（4 点）
- 对 Agent 推荐系统做安全评估时，可借鉴策略库思路：收集历史攻击成功案例，沉淀为可复用的策略模板，对新上线的 Agent 模块快速进行鲁棒性测试。
- 高度稀疏查询（每个样本仅需约 10 次查询）的做法，适合在线上生产环境以极低采样成本持续探测 Agent 是否有注入漏洞，避免大量无效请求影响服务。
- 跨模型迁移能力表明：可以基于少数开源模型训练出一套通用攻击策略库，再迁移到闭源商业模型（如 GPT-4）上做红队测试，业务中不必强行获取目标模型内部信息。
- 攻击成功样本可直接用于构造对抗训练数据，强化防御，从而让电商搜索 / 推荐 Agent 更稳健地处理不可信的外部内容（如商品描述、用户评价、工具返回结果）。
针对智能体AI自动化攻击的防御性误导分析
🧭 Agent安全防御 · 误导性反馈
Keysight Technologies Inc.
提出检测后给出误导性非操作响应，将自动化越狱攻击成功率上界降低两个数量级
📌 工作参考价值（4 点）
- 对话推荐Agent的防注入策略：当检测到恶意输入时，不要返回统一的拒绝话术（如“我无法回答”），因为这会为自动化攻击提供可预测的反馈信号；改用看似合理但无实际操作的误导性回应，让攻击者误判成功，从而浪费其查询预算。
- 轻量级误导实现CMPE：借鉴文中的渐进式上下文误导方法，在对话状态中维护安全的信息片段，检测到恶意意图后逐步递送无关的“安全诱饵”，既保持对话流自然，又避免泄露系统边界。
- 防御评估指标迁移：用攻击者的阳性预测值（PPV）替代传统的ASR来评估鲁棒性，更能反映在自动化红队场景下误导策略的有效性，适合在电商搜索Agent上线前做对抗测试。
- 工程实现建议：将安全检测与响应生成解耦，检测模块判定恶意度后，将请求转发至专门的“误导生成器”（可用小型微调模型），不增加主流程延迟，对在线服务影响小。
从提示注入到持久控制：防御智能体框架中的特洛伊后门
🧭 LLM Agent安全：多步注入攻击与防御
Gaoling School of Artificial Intelligence, Renmin University of China
揭示多步特洛伊攻击范式，提出ClawTrojan基准和DASGuard防御方法，实现95.5%攻击成功率与强动态防御
📌 工作参考价值（4 点）
- 在构建本地智能体工具（如文件读写、API调用）时，需考虑跨步骤的上下文攻击：单步无害的注入可能被持久化并延迟执行，防御应追踪数据来源和传播。
- DASGuard的防御策略可借鉴：扫描敏感文件中的控制类文本（如指令、代码），追溯其来源，若非可信源则移除或净化，结合运行时阻断和提交清洁。
- 设计Agent系统时，应区分可信与不可信数据源，对来自外部文件或工具输出的内容进行沙箱处理，避免污染工作空间状态。
- 对于电商场景中的Agent（如自动客服、订单处理），防止通过用户输入或外部文档植入的后门，可借鉴ClawTrojan的攻击场景进行安全评估。
SCOUT：基于事前推理的自适应检测器分配防御提示注入
🧭 提示注入防御 · 自适应检测器分配与路由 ★ 深度解读
UC San Diego · University of Illinois Urbana-Champaign
SCOUT 通过预测各检测器对每个请求的可靠性与延迟，动态分配轻量检测器并按需升级至 LLM 法官，实现可控的安全-效用权衡
📌 工作参考价值（4 点）
- 多检测器动态分配架构：可借鉴"指纹+预测器"的轻量路由思路，为电商推荐系统的多模型服务（如不同召回、排序模型组合）建立自适应调度，根据请求特征选择最优模型子集，避免昂贵的全模型调用。
- 成本-质量可预测控制：通过事前估计延迟和正确性并绑定单一阈值，可实现服务等级协议（SLA）管理，如限时延迟预算，自动选择满足延迟约束下最可靠的模型组合，适用于在线推理的时序控制。
- 异质模型池的无缝扩展：新检测器仅需在锚点集上记录行为即可加入路由，无需重训练路由策略，该模式可直接迁移到多模型服务中，降低新增模型的上线成本。
- 风险分级与升级机制：在 Agent 工作流中，可将不确定请求升级至更强大的模型（类 LLM 法官），平衡安全与成本，适用于高敏感对话、交易风控等场景。
面向金融LLM代理的内联生命周期安全栅栏
🧭 金融代理安全 · 内联安全栅栏 ★ 深度解读
Peking University · Nanyang Technological University · Tsinghua University · University of Science and Technology of China · University of Illinois Chicago
通过查询监控、工具监控与级联法官在代理执行中注入安全证据，在保持业务批准率的同时降低攻击成功率并大幅减少高级模型调用。
📌 工作参考价值（4 点）
- 内联安全监控架构：在Agent执行循环中嵌入查询监控(Query Monitor)与工具监控(Tool Monitor)，用确定性合规先验对每一步打分，防范中间步骤的提示注入攻击，比边界过滤更可靠。
- 风险窗口级联路由：通过累加最近5步风险分数 (W=5, θ=1.0) 决定是否调用高级法官，普通步骤仅用轻量法官 (gpt-4o-mini)，高级调用减少4.7倍，平衡安全与成本。电商对话中高风险操作（如大额下单）可借鉴此路由策略。
- 证据注入促代理自主：将触发风险的规则信号（如强制词、数量异常、序列违规）作为结构化证据注入Agent输入，让Agent自主选择拒绝、重规划或升级，而非硬阻断，保持流程灵活且不牺牲业务审批率。
- 双信号有限记忆回顾：通过风险显著性和共谋（语义相似+实体重叠+信息提供者）召回最多2个历史步骤，法官上下文长度恒定O(1)，避免长轨迹下成本爆炸，适用于多轮对话状态追踪。